<body>
<h2>
Implements testing pipelines for UCR classification datasets.
</h2>
<p>
<h3>Typical work flow:</h3>

[1]<br>
run 1-NN experiment, for example UCRSyntheticKNNProper, this will produce output files containing
lines in form Window,PAA,Alphabet,ObservedError, which can be used to select the best SAX 
parameters<br>
<br>
<br>

[2.1]<br>
run brute force exploration, for example UCRSyntheticControlClassifier, this will produce output
files containing true error rates lines in form Window,PAA,Alphabet,ObservedAccuracy,ObservedError, 
which can be used to verify if found in step 1 parameters are close enough to true minima<br>

[2.2]<br>
for faster validation of minima paremeters found through step 1 exploration it is possible
to run simple experiments like UCRSyntheticKNNClassifier<br>
<br>
<br>

[3]<br>
processing:<br>

[3.1] parsing for minimal error<br>
<pre>
[~/test/synthetic_control]$ cat synthetic_nfold_1* | cut -d , -f 4 | sort | head
0.016666666666666663
0.016666666666666663
0.016666666666666663
0.016666666666666663
0.016666666666666663
0.016666666666666663
0.019999999999999997
0.019999999999999997
0.019999999999999997
0.019999999999999997
</pre>

[3.2] which parameters yield the minimal error?<br>
<pre>
[~/test/synthetic_control]$ grep '0.016666666666666663' synthetic_nfold_1_*
synthetic_nfold_1_EXACT.csv:36,7,5,0.016666666666666663
synthetic_nfold_1_EXACT.csv:42,6,5,0.016666666666666663
synthetic_nfold_1_EXACT.csv:40,6,7,0.016666666666666663
synthetic_nfold_1_NOREDUCTION.csv:42,7,6,0.016666666666666663
synthetic_nfold_1_NOREDUCTION.csv:42,6,5,0.016666666666666663
synthetic_nfold_1_NOREDUCTION.csv:40,7,5,0.016666666666666663
</pre>

[3.3] control runs<br>
<pre>
java -Xmx2G -cp "jmotif.dependencies.jar:jmotif.lib.jar" edu.hawaii.jmotif.performance.synthctrl.UCRSyntheticKNNClassifier 36 7 5 EXACT
0.9433333333333334,0.05666666666666664

java -Xmx2G -cp "jmotif.dependencies.jar:jmotif.lib.jar" edu.hawaii.jmotif.performance.synthctrl.UCRSyntheticKNNClassifier 42 6 5 EXACT
0.9633333333333334,0.036666666666666625

java -Xmx2G -cp "jmotif.dependencies.jar:jmotif.lib.jar" edu.hawaii.jmotif.performance.synthctrl.UCRSyntheticKNNClassifier 40 6 7 EXACT
0.9766666666666667,0.023333333333333317

java -Xmx2G -cp "jmotif.dependencies.jar:jmotif.lib.jar" edu.hawaii.jmotif.performance.synthctrl.UCRSyntheticKNNClassifier 42 7 6 NOREDUCTION
0.9533333333333334,0.046666666666666634

java -Xmx2G -cp "jmotif.dependencies.jar:jmotif.lib.jar" edu.hawaii.jmotif.performance.synthctrl.UCRSyntheticKNNClassifier 42 6 5 NOREDUCTION
0.9533333333333334,0.046666666666666634

java -Xmx2G -cp "jmotif.dependencies.jar:jmotif.lib.jar" edu.hawaii.jmotif.performance.synthctrl.UCRSyntheticKNNClassifier 40 7 5 NOREDUCTION
0.9566666666666667,0.043333333333333335
</pre>
   
</p>

</body>
